энтропия условного распределения вероятностей

 

энтропия условного распределения вероятностей
Мера неопределенности условного распределения вероятностей дискретной случайной величины при условии, что задано значение другой дискретной случайной величины, усредненная по значениям последней; ее выражение имеет вид

где P (xⁿ, y^m)=P (x_1, ..., x_n, y₁, ..., y_m) — совместное распределение вероятностей случайных величин Xⁿ = (X₁, …, Х_n) и Y^m = (Y₁, …, Y_m); Р(xⁿ|y^m) = Р(x₁, ..., x_n | y₁, ..., y_m) — вероятность того, что случайная величина Хⁿ принимает значение хⁿ = (x₁, ..., x_n) при условии, что задано значение y_^m=(y₁, ..., y_m) случайной величины Y_^m=(Y₁, ..., Y_m); суммирование ведется по всему множеству значении хⁿ и у^m.
Примечание. Имеет место равенство

где Н (Хⁿ, Y^m) —энтропия случайной величины Z^n+m = (Xⁿ, Y^m).
[Сборник рекомендуемых терминов. Выпуск 94. Теория передачи информации. Академия наук СССР. Комитет технической терминологии. 1979 г.]

Тематики

• теория передачи информации

EN

• conditional – probability distribution entropy